Pada 27 Ogos 2014, Datuk Md Hashim Yahaya meninggal dunia di Hospital Pakar Al-Islam, Kampung Baru di Kuala Lumpur pada 1.50 petang setelah mengalami demam dan masalah paru-paru.Allahyarham berusia 75 tahun. Beliau mengidap penyakit `hypoxic cerebral encephalopathy' sejak 2012. Jenazah Allahyarham dibawa ke rumahnya di Nombor 90, Jalan 9/6, Seksyen 9, Shah Alam untuk diuruskan dan dikebumikan di Shah Alam.

Allahyarham meninggalkan isteri Datin Ustazah Aminah Zakaria dan tiga anak iaitu Profesor Dr Ashraf, Amani dan Zainab. [8] Prof Dr Ashraf mendapat PhD (Islamic Law) dari Universiti Birmingham, United Kingdom. Sarjana jurusan Fiqh dan Usul Fiqh dari Universiti Jordan dan BA jurusan Shariah dari Universiti Islam Madinah, Arab Saudi.